Nel campo dell'Intelligenza Artificiale, la modellazione delle sequenze sposta l'attenzione dagli istanti fissi flussi temporali. I compiti standard di apprendimento automatico assumono spesso che i punti dati siano Indipendenti ed Identici (IID), il che significa che l'ordine dei campioni non influisce sul risultato.

La modellazione delle sequenze rifiuta esplicitamente questa assunzione, concentrandosi su tre pilastri fondamentali:

• Violazione della Invarianza per Permutazione: Nei dati tabulari, l'ordine delle colonne è arbitrario. Nelle sequenze, l'ordine è la caratteristica principale. Scambiare "Il gatto ha mangiato il topo" con "Il topo ha mangiato il gatto" cambia fondamentalmente il verità semantica fondamentale nonostante i token identici.
• Autoregressivo Proprietà: Assumiamo che un'osservazione al tempo $t$ sia matematicamente condizionata alla sua storia ($t-1, t-2, \dots, 1$). Ciò richiede probabilità di transizione per catturare come l'informazione evolve.
• Mappatura di Lunghezza Variabile: A differenza delle griglie fisse di 28x28 pixel, le sequenze come frasi o onde sismiche sono elastiche. I modelli devono elaborare input di lunghezza $N$ e produrre output di lunghezza $M$ utilizzando parametri coerenti.